警惕 AI“罕见”危险行为！Anthropic 发文：一次评估失败也可能造成灾难性后果
警惕 AI“罕见”危险行为！Anthropic 发文：一次评估失败也可能造成灾难性后果对齐科学的主要目标之一，是在危险行为发生之前，预测人工智能（AI）模型的危险行为倾向。
来自主题: AI资讯
4939 点击 2025-02-27 10:05
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
对齐科学的主要目标之一，是在危险行为发生之前，预测人工智能（AI）模型的危险行为倾向。
目前的 AI 行业，除了大模型外，竞争最激烈的可能就是 AI 编程了。昨天的文章《用 AI 解决专利纠纷半年 ARR 增 20 倍，Anthropic 再融 35 亿美金》里我还调侃 AI 编程正在经历百编大战，没想到今天这个行业又来了一些新消息。
尽管 OpenAI 和 Anthropic 的收入倍数在过去一年中下降，但 AI 应用开发者如 Perplexity 和 Writer 的收入倍数却上升，分析显示了十几家 AI 初创公司的估值和收入增长情况。
当地时间 2 月 25 日，Anthropic 正式发布了 Claude 3.7 Sonnet，“这是迄今为止我们最智能的模型，也是市场上首个混合推理模型。”Anthropic 官方表示。
本周四消息，去年刚刚加入知名 AI 创业公司 Anthropic 的 OpenAI 联合创始人约翰・舒尔曼 (John Schulman) 已辞去这家人工智能初创公司的职务。
他们急了！特朗普的AI沙皇和微软纷纷指控DeepSeek「偷窃」数据，DeepSeek不断遭受来自美国IP的不间断大规模攻击。Anthropic CEO更是发出檄文：再不加强对中国的芯片管制，就来不及了！
人类仅剩2-3年时间了！Anthropic首席执行官Dario Amodei独家采访，一口气爆料一连串AI重磅消息，并在最后给出了对于职场年轻人的建议。
AI 编程工具的发展令人目不暇接。从年初 Devin 这款被称为“首个真正的 AI工程师”的产品发布，到年中 Anthropic 在 Claude 3.5 Sonnet 模型推出「Artifacts」功能的重大突破，再到 Cursor、Windsurf 等新一代 IDE 的崛起，AI 正在重塑程序员的工作方式。
10 个月前，闫俊杰也接受过《晚点》访谈，那时他提了 16 次字节、47 次 OpenAI，8 次 Anthropic。这次再聊，他主动提字节少了，提 Anthropic 多了。这与行业风向形成微妙的反差。
昨天，我们报道了一个行业猜想，说是 OpenAI 和 Anthropic 等前沿大模型公司可能已经训练出了下一代大模型，但由于它们的使用成本过高，所以短时间内根本不会被放出来。